我在多节点集群上工作，有四个从节点命名为slave01、slave02、slave03和slave04，一个主节点作为master当我在map任务hadoop中拔掉网线时等待状态更新100秒(由于其值为100000的属性)在那之后我可以看到maptask失败并且hadoop启动容器清理需要超过10分钟并且它也不会在任何地方安排失败的任务。我收到错误消息没有路由到主机异常从应用程序主机到丢失的节点.之后任务在另一个节点上获得调度。我想减少尝试容器清理的时间，以便可以在任何节点上的maptask超时后立即安排任务。请帮助我如何通过设置配置来做到这一点。我附加了应用程序主日志，其中我在map

我在服务器node25上安装了hive2.2，并尝试使用jdbc通过单个查询测试“select*frommytestlimit5”访问hiveserver2，大多数情况下会导致异常:.....引起:java.net.ConnectException:连接超时:连接在org.apache.thrift.transport.TSocket.open(TSocket.java:221)它偶尔会成功，但使用直线没有问题。这是我的hiveserver2日志:2017-03-28T09:59:28,347DEBUG[HiveServer2-Handler-Pool:Thread-133]trans

问题是当我尝试使用我的应用程序从配置单元查询smth时，例如analyzetabletable_entitycomputestatistics或者例如selectcount(*)fromtable_entity有时我会遇到这样的异常:java.net.SocketTimeoutException:Readtimedout但是当我查询showtables或showtblpropertiestable_entity时，我没有得到这样的异常。有人遇到过这个问题吗？提前谢谢你。 最佳答案 我知道这有点晚了，但我遇到了同样的问题，我们无法删除

我尝试通过DatastaxEnterprise运行简单的配置单元查询，但它总是因超时而失败(在小数据集甚至空表上)。我在AWS上有4个m1.large节点(2xCassandra&2xAnalytics)。见下文:cqlsh:intracker>selectcount(*)fromevent_tracks_by_browser_dateLIMIT100000;count-------15030然后用hive:hive>select*fromevent_tracks_by_browser_datewheretype_id=10;TotalMapReducejobs=1LaunchingJ

我有一个3节点的hadoop设置，复制因子为2。当我的一个数据节点死亡时，名称节点会等待10分钟，然后将其从事件节点中删除。直到那时我的hdfs写入失败，说来自节点的错误确认。有没有办法设置更小的超时(比如1分钟)，以便立即丢弃datanode死亡的节点？ 最佳答案 在您的hdfs-site.xml中设置以下内容会给您1分钟的超时时间。heartbeat.recheck.interval15Determinesdatanodeheartbeatintervalinseconds如果以上不起作用-尝试以下(似乎与版本相关):dfs.h

我正在尝试在clouderaVM(5.5)中查询HBase但出现以下异常:ErrorconnectingHBase:org.apache.hadoop.hbase.MasterNotRunningException:com.google.protobuf.ServiceException:org.apache.hadoop.net.ConnectTimeoutException:20000millistimeoutwhilewaitingforchanneltobereadyforconnect.ch:java.nio.channels.SocketChannel[connection

是否可以在使用javaAPI获取和放置时指定超时(默认行为似乎永远阻塞......特别是当我们的hbase速度慢且负载很重时) 最佳答案 尝试通过这个线程comments.gmane.org/gmane.comp.java.hadoop.hbase.user/23290–ankitKinra 关于performance-htable在javaapi中放置和获取超时，我们在StackOverflow上找到一个类似的问题： https://stackoverflo

我有一个grails应用程序，它有一系列的高事件，但通常会持续几个小时甚至整晚不活动。我注意到早上的第一批用户会遇到以下类型的异常，我相信这是由于池中的连接过时并且MYSql数据库关闭了它们。我在谷歌搜索中发现了相互矛盾的信息，即使用Connector/J连接属性“autoReconnect=true”是否是一个好主意(以及即使连接随后恢复，客户端是否仍会出现异常)，或者是否设置将定期驱逐或刷新空闲连接、借用测试等的其他属性。Grails在下面使用DBCP。我目前有一个简单的配置，如下所示，我正在寻找有关如何最好地确保在长时间不活动后从池中抓取的任何连接有效且未关闭的答案。dataSo

我有一个grails应用程序，它有一系列的高事件，但通常会持续几个小时甚至整晚不活动。我注意到早上的第一批用户会遇到以下类型的异常，我相信这是由于池中的连接过时并且MYSql数据库关闭了它们。我在谷歌搜索中发现了相互矛盾的信息，即使用Connector/J连接属性“autoReconnect=true”是否是一个好主意(以及即使连接随后恢复，客户端是否仍会出现异常)，或者是否设置将定期驱逐或刷新空闲连接、借用测试等的其他属性。Grails在下面使用DBCP。我目前有一个简单的配置，如下所示，我正在寻找有关如何最好地确保在长时间不活动后从池中抓取的任何连接有效且未关闭的答案。dataSo

我的reducer由于某种原因超时。我尝试-Dmapred.task.timeout来更改超时，但超时值似乎没有改变。此外，我无法通过命令行配置映射器和缩减器的数量。我的日志似乎很清楚，tasktracker超时。我确实调用了外部Web服务，但这不是超时的原因。如果输入文件中的数据点数量减少，我不会经常看到这些超时。 最佳答案 在mapred-site.xml中调整mapred.task.timeout(值为毫秒)。确保在所有节点(jobtracker+tasktrackers)上更新并重启jobtracker和所有tasktrac